Knowledge Transfer for Out-of-Knowledge-Base Entities: A Graph Neural Network Approach
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Recruit Institute of Technology(Recruit技术研究所)
知识库补全(KBC)的目的是预测知识库中的缺失信息,本文研究了知识库补全中的知识库外(OOKB)实体问题:如何回答关于训练时未观察到的测试实体的查询。现有的基于嵌入的KBC模型假设所有测试实体在训练时都可用,因此不清楚如何在不进行昂贵的再训练的情况下获得新实体的嵌入。为了解决OOKB实体问题而无需再训练,我们使用图神经网络(Graph-NN)来计算OOKB实体的嵌入,利用测试时提供的有限辅助知识.实验结果表明,我们提出的模型在OOKB环境下是有效的.此外,在标准KBC环境下,OOKB实体不参与,我们的模型在WordNet数据集上达到了最先进的性能.代码和数据集可在https://github.com/takuo-h/GNN-for-OOKB上获得
2017-06-20 cs.CL
Jointly Embedding Entities and Text with Distant Supervision
The Ohio State University(俄亥俄州立大学);National Institutes of Health(美国国立卫生研究院);Washington University in St. Louis(圣路易斯华盛顿大学)
知识库实体和概念的学习表示对于NLP应用变得越来越重要。然而,最近的实体嵌入方法依赖于为新域和语料库创建昂贵的结构化资源。我们提出了一种远程监督的方法,用于联合学习嵌入的实体和文本从unnanotated语料库,只使用实体和表面形式之间的映射列表。我们从开放领域和生物医学语料库中学习嵌入,并与依赖于人类注释文本或大型知识图谱结构的先前方法进行比较。我们的嵌入比以前的工作更好地捕捉实体相似性和相关性,无论是在现有的生物医学数据集还是我们发布给社区的新的基于维基百科的数据集。类比完成和实体意义消歧的结果表明,实体和词捕捉互补的信息,可以有效地结合下游使用。
2018-07-09 cs.AI cs.CL
Cross-lingual Entity Alignment with Adversarial Kernel Embedding and Adversarial Knowledge Translation
University of Oregon(俄勒冈大学);Auburn University(奥本大学);Peking University(北京大学)
跨语言实体对齐的目标是将不同单语知识库(KBs)中的相同实体精确地连接在一起,其经常遭受来自特征不一致和序列上下文不知晓的挑战。本文提出了一个用于跨语言实体对齐的双对抗学习框架DAEA,其中有两个原创性贡献。首先,针对两个知识图谱中实体之间结构和属性特征不一致的问题,提出了一种对抗性核嵌入技术,以无监督的方式提取图不变信息,并将两个知识图谱投影到公共嵌入空间中.其次,为了进一步提高实体对齐的成功率,我们提出了通过每个待对齐的实体产生多个随机游走,并在随机游走中屏蔽这些实体。在多个随机游走的背景下,在已知对齐实体的指导下,开发了一个对抗性知识翻译模型,以填充和翻译来自两个KG的成对随机游走中的掩蔽实体。在真实世界数据集上进行的大量实验表明,DAEA可以很好地解决特征不一致和序列上下文未知问题,并显着优于13个最先进的实体比对方法。
2021-04-16 cs.CL
FlairNLP at SemEval-2023 Task 6b: Extraction of Legal Named Entities from Legal Texts using Contextual String Embeddings
Univeristy of Colorado, Boulder(科罗拉多大学博尔德分校)
针对印度法院判决书的法律命名实体识别任务,论文比较多种序列标注架构,发现基于 Flair Embeddings 的 Bi-LSTM 效果最佳,并发布 BIO 格式数据集。
2023-06-03 cs.CL
Learning Better Word Embedding by Asymmetric Low-Rank Projection of Knowledge Graph
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
词嵌入是指自然词的低维密集向量表示,它在许多自然语言处理任务中表现出了强大的功能。然而,自由文本语料库中作为训练数据的信息不准确和不完整可能会使其受到影响。为了应对这一挑战,已经有相当多的作品利用知识图谱作为额外的信息源来提高词嵌入的质量。虽然这些工作取得了一定的成功,但他们忽略了一些关于知识图谱的重要事实:(i)知识图谱中的许多关系是\emph{many-to-one},\emph{one-to-many}甚至\emph{many-to-many},而不是简单的\emph{one-to-one} ;(ii)知识图谱中的大多数头实体和尾实体来自非常不同的语义空间。为了解决这些问题,在本文中,我们提出了一个新的算法名为ProjectNet。ProjecNet在使用不同的低秩投影矩阵进行转换后,对头部和尾部实体之间的关系进行建模。低秩投影可以允许实体之间的非\emph{one-to-one}关系,而头部和尾部实体的不同投影矩阵允许它们起源于不同的语义空间。实验结果表明,ProjectNet的词嵌入比以前的工作更准确,从而导致各种自然语言处理任务的明显改善。
2015-06-14 cs.CL
PIE: a Parameter and Inference Efficient Solution for Large Scale Knowledge Graph Embedding Reasoning
Ant Group(蚂蚁集团)
知识图谱(KG)的嵌入方法,映射的实体和关系的唯一嵌入在KG已显示出良好的结果,在许多推理任务。然而,密集实体和稀疏实体的相同嵌入维度将导致过度参数化(稀疏实体)或拟合不足(密集实体)。通常,设置较大的维度以获得更好的性能。同时,推理时间随着遍历和比较所有实体的实体数量呈对数线性增长。当处理大量实体时,参数和推理都成为挑战。因此,我们提出了PIE,一个\textbf{p}算法和\textbf{i}参考\textbf{e}有效的解决方案。受张量分解方法的启发,我们发现将实体嵌入矩阵分解为低秩矩阵可以在保持相当性能的同时减少一半以上的参数。为了加速模型推理,我们提出了一个自监督的辅助任务,它可以被看作是细粒度的实体类型。通过随机掩蔽和恢复实体的连接关系,任务学习实体和关系的共现。利用细粒度的类型,我们可以过滤不相关的实体在推理过程中,并得到可能的次线性时间要求的目标。在链接预测基准测试上的实验证明了所提出的关键能力。此外,我们证明了所提出的解决方案的有效性在开放图基准的大规模挑战数据集WikiKG90Mv2,并实现了最先进的性能。
2022-05-05 cs.AI cs.CL
Matching Entities Across Different Knowledge Graphs with Graph Embeddings
David R. Cheriton School of Computer Science(戴维·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
本文探讨了跨不同知识图谱的实体匹配问题。给定一个知识图谱中的查询实体,我们希望在另一个知识图谱中找到对应的真实世界实体。我们正式这个问题,并提出了两个大规模的数据集,这个任务的基础上现有的跨本体DBpedia和维基数据之间的链接,专注于几十万个模糊的实体。使用基于分类的方法,我们发现,一个简单的多层感知器的基础上,从RDF2Vec图嵌入的实体在每个知识图谱的表示是足以实现高精度,只有少量的训练数据。我们工作的贡献是研究这一问题的数据集和未来工作可以基于的强基线。
2019-03-15 cs.CL cs.DB
Word Embeddings for Entity-annotated Texts
Heidelberg University(海德堡大学)
词的学习向量表示由于其捕获词汇语义的能力而成为许多信息检索和自然语言处理任务的有用工具。然而,尽管许多此类任务涉及甚至依赖命名实体作为核心组件,但流行的词嵌入模型迄今为止未能将实体作为一等公民。虽然在训练语料库中标注命名实体似乎很直观,但对于下游任务来说,应该会产生更智能的单词特征,但当流行的嵌入方法天真地应用于实体标注语料库时,就会出现性能问题。不仅得到的实体嵌入不如预期的有用,而且人们还发现,与在原始的、未注释的语料库上训练的那些相比,非实体词嵌入的性能降低了。在本文中,我们研究的方法,联合训练词和实体嵌入一个大型语料库自动标注和链接的实体。我们讨论了两种不同的方法来生成这样的嵌入,即在原始文本和注释版本的语料库上训练最先进的嵌入,以及注释语料库的同现图表示的节点嵌入。我们比较了注释嵌入和经典词嵌入在各种词相似性、类比和聚类评估任务上的性能,并研究了它们在实体特定任务中的性能。我们的研究结果表明,它需要更多的训练流行的词嵌入模型的注释语料库,以创建实体嵌入与可接受的性能在常见的测试用例。基于这些结果,我们讨论了如何以及何时节点嵌入的同现图表示的文本可以恢复性能。
2020-02-12 cs.CL
Wikipedia2Vec: An Efficient Toolkit for Learning and Visualizing the Embeddings of Words and Entities from Wikipedia
Studio Ousia;RIKEN AIP(理化学研究所先进智能项目中心);University of Washington(华盛顿大学);The University of Tokyo(东京大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);National Institute of Informatics(国立情报学研究所);Keio University(庆应义塾大学)
将实体嵌入到大型知识库中(例如,Wikipedia)对于解决涉及真实世界知识的各种自然语言任务是非常有益的。在本文中,我们介绍了Wikipedia2Vec,一个基于Python的开源工具,用于学习维基百科中的单词和实体的嵌入。建议的工具,使用户能够有效地学习嵌入发出一个单一的命令与维基百科转储文件作为参数。我们还介绍了我们的工具,允许用户可视化和探索学习嵌入基于Web的演示。在我们的实验中,我们的工具在KORE实体相关性数据集上取得了最先进的结果,并在各种标准基准数据集上取得了有竞争力的结果。此外,我们的工具已被用作最近各种研究的关键组成部分。我们在https://wikipedia2vec.github.io上公布了12种语言的源代码、演示和预训练嵌入。
2020-09-26 cs.CL cs.LG
Joint Embedding of Hierarchical Categories and Entities for Concept Categorization and Dataless Classification
Carnegie Mellon University(卡内基梅隆大学)
由于缺乏结构化的知识应用于学习的分布式表示的类别,现有的工作不能纳入类别层次结构的实体信息。我们提出了一个框架,嵌入实体和类别到一个语义空间,通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。我们的框架可以同时处理单词概念和多词概念,在概念分类上具有优越的性能,并在无数据层次分类上产生最先进的结果。
2016-07-27 cs.AI cs.CL
EASE: Entity-Aware Contrastive Learning of Sentence Embedding
Studio Ousia(Ousia工作室);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);National Institute of Informatics(国立信息学研究所)
我们提出了EASE,一种新的方法学习句子嵌入通过对比学习之间的句子和它们的相关实体。使用实体监督的优点是双重的:(1)实体已被证明是文本语义的强指示器,因此应该为句子嵌入提供丰富的训练信号;(2)实体是独立于语言定义的,因此提供有用的跨语言对齐监督。我们评估EASE对其他无监督模型在单语和多语言设置。我们表明,EASE表现出竞争力或更好的性能在英语语义文本相似性(STS)和短文本聚类(STC)的任务,它显着优于基线方法在多种任务的多语言设置。我们的源代码,预训练模型和新构建的多语言STC数据集可在https://github.com/studio-ousia/ease上获得。
2022-05-09 cs.CL
RelWalk A Latent Variable Model Approach to Knowledge Graph Embedding
University of Liverpool(利物浦大学);Amazon(亚马逊);Taif University(塔伊夫大学);National Institute of Informatics(国立信息学研究所)
将知识图谱的实体和关系嵌入到低维空间中,在预测实体之间的缺失链接方面表现出令人印象深刻的性能。虽然已经取得了进展,现有的方法是启发式的动机和理论的理解,这样的嵌入是相对欠发达。本文扩展了随机游走模型(Arora et al.,2016 a)的词嵌入到知识图谱嵌入(KGE),以导出评估两个实体h(头部)和t(尾部)之间的关系R的强度的评分函数。此外,我们表明,边际损失最小化,一个流行的目标,在以前的工作中使用KGE,自然从对数似然比最大化根据我们的理论关系估计从KGE的概率。我们提出了一个学习目标的理论分析的动机,学习KGE从一个给定的知识图谱。使用导出的目标,准确的KGE从FB15K237和WN18RR基准数据集学习,提供支持理论的经验证据。
2021-01-25 cs.CL
A survey of embedding models of entities and relationships for knowledge graph completion
VinAI Research(VinAI研究院)
关于实体及其关系的真实世界事实的知识图谱(KG)是用于各种自然语言处理任务的有用资源。然而,因为知识图谱通常是不完整的,所以执行知识图谱完成或链接预测是有用的,即,预测不在知识图谱中的关系是否可能为真。本文综述了知识图谱的实体和关系嵌入模型,总结了在标准基准数据集上的最新实验结果,并指出了未来的研究方向。
2020-10-27 cs.AI cs.CL cs.IR
Exploiting Global Semantic Similarities in Knowledge Graphs by Relational Prototype Entities
University of Science and Technology of China(中国科学技术大学)
知识图谱(KG)嵌入旨在学习KG在连续向量空间中的实体和关系的潜在表示。一个经验观察是,由相同关系连接的头(尾)实体通常共享相似的语义属性-具体地说,它们通常属于同一类别-无论它们在KG中彼此相距多远;也就是说,它们共享全局语义相似性。然而,许多现有的方法推导KG嵌入的基础上的本地信息,这不能有效地捕捉这种全局语义相似性的实体。为了解决这个问题,我们提出了一种新的方法,它引入了一组虚拟节点称为\textit{\textbf{relational prototype entities}}来表示原型的头部和尾部实体连接相同的关系。通过强制实体的嵌入接近其相关联的原型的嵌入,我们的方法可以有效地鼓励实体的全局语义相似性-可以远离KG -通过相同的关系连接。实体对齐和KG完成任务的实验表明,我们的方法显着优于最近的国家的最先进的。
2022-06-16 cs.AI cs.CL
Query2Particles: Knowledge Graph Reasoning with Particle Embeddings
HKUST(香港科技大学);Tencent AI Lab(腾讯人工智能实验室)
在缺失边的不完备知识图上进行复杂的逻辑查询是知识图谱推理的一个基本而重要的任务。查询嵌入方法通过将查询和实体联合编码到同一个嵌入空间来回答这些查询。然后根据实体嵌入与查询嵌入的相似度选择答案实体。由于复杂查询的答案是从子查询上的逻辑运算的组合中获得的,因此答案实体的嵌入可能并不总是遵循嵌入空间中的单峰分布。因此,它是具有挑战性的同时检索一组不同的答案从嵌入空间使用一个单一的和集中的查询表示,如向量或超矩形。为了更好地应对查询的多样化的答案,我们提出了Query 2 Particles(Q2 P),一个复杂的KG查询回答方法。Q2 P将每个查询编码为多个向量,称为粒子嵌入。通过这样做,可以使用实体嵌入和任何粒子嵌入之间的最大相似性从嵌入空间上的不同区域检索候选答案。同时,定义了相应的神经逻辑运算,以支持其对任意一阶逻辑查询的推理。实验结果表明,Query 2 Particles在FB 15 k、FB 15 K-237和NELL知识图谱上的复杂查询应答任务上达到了最先进的性能。
2022-04-27 cs.CL
Conformal retrofitting via Riemannian manifolds: distilling task-specific graphs into pretrained embeddings
Stanford University(斯坦福大学);Square Inc.(Square公司)
预训练的(语言)嵌入是实体(如单词)的通用、任务不可知的特征表示,是许多机器学习应用的核心。这些表示可以通过改装来丰富,改装是一类将特定于任务的领域知识编码为这些实体的子集上的图的方法。然而,现有的改造算法面临着两个限制:他们过拟合的观察到的图,未能表示与丢失的实体的关系;和他们欠拟合的观察到的图,只学习嵌入在欧几里得流形,不能忠实地表示,甚至简单的树结构或循环图。我们通过两个关键贡献来解决这些问题:(i)我们提出了一种新的正则化器,一种保形正则化器,它可以从预训练的嵌入中保留局部几何形状--使泛化到丢失的实体;(ii)一个新的黎曼前馈层,它可以学习将预训练的嵌入映射到可以更好地表示整个图的非欧几里得流形上。通过在WordNet上的实验,我们证明了保形正则化器可以防止现有的(仅欧几里德)方法对缺失实体的链接预测过度拟合,并且-与黎曼前馈层一起-学习优于它们的非欧几里德嵌入。
2020-10-09 cs.CL cs.LG
Unifying Dual-Space Embedding for Entity Alignment via Contrastive Learning
College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院);Inner Mongolia Key Laboratory of Multilingual Artificial Intelligence Technology(内蒙古多语言人工智能技术重点实验室)
提出UniEA方法,通过同时在欧几里得空间与双曲空间学习图结构嵌入并结合对比学习,解决知识图谱复杂结构表示及相似邻近实体导致的误对齐问题,在基于结构的实体对齐上达到最优性能。
2024-12-06 cs.CL
Domain Representation for Knowledge Graph Embedding
Westlake University(西湖大学);Zhejiang University(浙江大学);Northeastern University(东北大学)
在连续多维向量空间中嵌入实体和关系已成为表示学习中知识图谱嵌入的主要方法。然而,大多数现有的模型忽略了表示层次知识,如在一个领域中的实体的相似性和不相似性。我们提出了在现有的知识图谱嵌入模型上学习域表示,使得具有相似属性的实体被组织到相同的域中。这种领域的层次知识可以在链接预测中提供进一步的证据。实验结果表明,域嵌入给出了最新的最先进的基线知识图谱嵌入模型的显着改善。
2019-09-11 cs.AI cs.CL
When Specialization Helps: Using Pooled Contextualized Embeddings to Detect Chemical and Biomedical Entities in Spanish
Goethe University Frankfurt(法兰克福歌德大学)
药理学物质、化合物和蛋白质的识别是识别化学品和其他生物医学相关单位之间关系的基本前期工作。在本文中,我们描述了一种方法,任务1的PharmaCoNER挑战,其中涉及到识别提到的化学品和药物在西班牙医学文本。我们训练了一个最先进的BiLSTM-CRF序列标记器,它使用开源框架FLAIR堆叠池上下文嵌入,单词和子词嵌入。我们提出了一个新的语料库组成的文章和论文从西班牙健康科学期刊,称为西班牙健康语料库,并使用它来训练特定领域的嵌入,我们将在我们的模型训练。我们使用预训练的嵌入实现了89.76%的F1分数,并且能够使用专门的嵌入将这些结果提高到90.52%的F1分数。
2019-10-08 cs.CL cs.LG
From Alignment to Entailment: A Unified Textual Entailment Framework for Entity Alignment
Nankai University(南开大学)
本文将实体对齐任务转化为跨知识图谱实体序列的双向文本蕴含任务,利用预训练语言模型显式建模原始信息的细粒度交互,在五个数据集上优于现有方法并实现异构信息互促。
2023-05-19 cs.CL
Generalizing to Unseen Entities and Entity Pairs with Row-less Universal Schema
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
通用模式通过联合嵌入所有可用模式类型的联合来预测知识库(KB)中的实体和关系的类型-不仅是来自多个结构化数据库(如Freebase或Wikipedia信息框)的类型,而且还表示为原始文本的文本模式。这种预测通常被建模为矩阵补全问题,每列一种类型,每行一个或两个实体(分别是实体类型或二元关系类型)。对这个稀疏观测的矩阵进行因子分解,为每行和每列生成一个学习的向量嵌入。在本文中,我们探讨了对训练时看不到的实体或实体对进行预测的问题(因此没有预先学习的行嵌入)。我们提出了一种没有每行参数的方法;相反,我们使用该行观察到的列的向量的学习聚合函数在运行中产生一个行向量。我们实验了各种聚合函数,包括神经网络注意力模型。我们的方法可以被理解为一个自然语言数据库,在这个问题上的知识库实体回答出席文本或数据库的证据。在预测关系和实体类型的实验中,我们证明了尽管参数比传统的通用模式少了一个数量级,但我们可以匹配传统模型的准确性,更重要的是,我们现在可以预测看不见的行,其准确性与训练时可用的行几乎相同。
2017-01-09 cs.CL
A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse
Preferred Networks, Inc.(Preferred Networks 公司);Tokyo Institute of Technology(东京工业大学);Tohoku University(东北大学);RIKEN(理化学研究所)
本研究针对神经语言模型中使用的词嵌入方法来识别语篇中未知词或实体的意义。我们提出了一种通过跟踪上下文在神经模型的输入和输出层中动态构建和利用词嵌入的方法。这扩展了Kobayashi et al.(2016)中使用的动态实体表示,并结合了Gu et al.(2016)和Gulcehre et al.(2016)独立提出的复制机制。此外,我们还构建了一个新的任务和数据集,称为Ancesturized Language Modeling,用于评估阅读时捕捉词义的能力。使用我们的新数据集进行的实验表明,所提出的RNN语言模型变体优于基线模型。此外,实验还表明,输出层的动态更新有助于模型预测再现实体,而输入层的动态更新则可有效预测再现实体后面的单词。
2017-10-17 cs.CL
Joint embedding in Hierarchical distance and semantic representation learning for link prediction
Shandong University(山东大学)
链接预测任务旨在预测知识图谱中缺失的实体或关系,并且对于下游应用是必不可少的。现有的公知的模型处理这个任务,主要集中在表示知识图谱三元组的距离空间或语义空间。然而,它们不能完全捕捉头和尾实体的信息,甚至不能很好地利用层次信息。因此,在本文中,我们提出了一种新的知识图谱嵌入模型的链接预测任务,即HIE,模型的每个三元组(\textit{h},\textit{r},\textit{t})到距离测量空间和语义测量空间,同时。此外,HIE被引入到层次感知空间中,以利用实体和关系的丰富层次信息来更好地进行表示学习。具体地说,我们在距离空间中对头部实体进行距离变换操作,以获得尾部实体,而不是基于平移或旋转的方法。在四个真实数据集上的实验结果表明,HIE在链接预测任务上优于现有的几种最先进的知识图谱嵌入方法,并能准确地处理复杂关系。
2023-03-28 cs.CL
Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
University of Science and Technology of China(中国科学技术大学)
知识图谱嵌入,旨在将实体和关系表示为低维向量(或矩阵,张量等),已被证明是预测知识图谱中缺失链接的强大技术。现有的知识图谱嵌入模型主要集中在对称/反对称、反转、组合等关系模式的建模上。然而,许多现有的方法无法建模语义层次结构,这是常见的在现实世界中的应用。为了解决这个问题,我们提出了一种新的知识图谱嵌入模型-即层次感知知识图谱嵌入(HAKE)-将实体映射到极坐标系。HAKE的灵感来自于极坐标系中的同心圆可以自然地反映层次结构。具体而言,径向坐标旨在对层次结构中不同级别的实体进行建模,并且具有较小半径的实体预计处于较高级别;角坐标旨在区分层次结构中相同级别的实体,并且这些实体预计具有大致相同的半径但不同的角度。实验表明,HAKE可以有效地建模知识图谱中的语义层次结构,并显着优于现有的最先进的方法在基准数据集上的链接预测任务。
2022-04-06 cs.CL cs.LG stat.ML
TransA: An Adaptive Approach for Knowledge Graph Embedding
Tsinghua University(清华大学)
知识表示是人工智能领域的一个重要研究课题,许多研究试图在连续向量空间中表示知识库的实体和关系。在这些尝试中,基于简化的方法通过最小化从头实体到尾实体的翻译损失来构建实体和关系向量。尽管这些方法取得了成功,但基于推理的方法也受到过于简化的损失度量的影响,并且不足以对知识库中的各种复杂实体/关系进行建模。为了解决这个问题,我们提出了\textbf{TransA},一个自适应度量嵌入方法,利用度量学习的思想,提供了一个更灵活的嵌入方法。在基准数据集上进行了实验,我们提出的方法在最先进的基线上取得了显着和一致的改进。
2015-09-28 cs.CL
Probing Omissions and Distortions in Transformer-based RDF-to-Text Models
CNRS(法国国家科学研究中心);LORIA(洛里亚实验室);Université de Lorraine(洛林大学);Utrecht University(乌得勒支大学)
针对NLG中信息遗漏问题,本文提出两种探测方法分析BART和T5编码器输出,发现编码器对遗漏和失真实体信号较弱导致信息丢失,证明探测法可检测模型输出错误。
2024-09-25 cs.CL
STransE: a novel embedding model of entities and relationships in knowledge bases
Macquarie University(麦考瑞大学);NICTA(澳大利亚国家信息通信技术中心)
关于实体及其关系的真实世界事实的知识库是各种自然语言处理任务的有用资源。然而,因为知识库通常是不完整的,所以能够执行链接预测或知识库完成是有用的,即,预测知识库中没有的关系是否可能是真的。本文将以前几种链接预测模型的见解结合到一个新的嵌入模型STransE中,该模型将每个实体表示为低维向量,并将每个关系表示为两个矩阵和一个平移向量。STransE是SE和TransE模型的简单组合,但它在两个基准数据集上获得了比以前的嵌入模型更好的链接预测性能。因此,STtransE可以作为链接预测任务中更复杂模型的新基线。
2017-03-08 cs.AI cs.CL
What Makes Entities Similar? A Similarity Flooding Perspective for Multi-sourced Knowledge Graph Embeddings
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
本文从相似性洪泛的不动点视角解释多源知识图谱中基于翻译与聚合的实体对齐模型,并提出两种受不动点计算启发的有效方法。
2023-06-05 cs.AI cs.CL cs.LG
Gender Bias in Contextualized Word Embeddings
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of California, Los Angeles(加州大学洛杉矶分校);University of Virginia(弗吉尼亚大学);University of Cambridge(剑桥大学)
在本文中,我们量化,分析和减轻ELMo的语境化词向量中表现出的性别偏见。首先,我们进行了几个内在的分析,发现(1)训练数据ELMo包含显着更多的男性比女性实体,(2)训练ELMo嵌入系统编码性别信息和(3)ELMo不平等地编码性别信息的男性和女性实体。然后,我们表明,一个国家的最先进的共指系统,依赖于ELMo继承其偏见,并表现出显着的偏见WinoBias探测语料库。最后,我们探索了两种方法来减轻这种性别偏见,并表明WinoBias上的偏见可以消除。
2019-04-05 cs.CL
Named Entity Linking with Entity Representation by Multiple Embeddings
Primer Technologies Inc.(Primer科技公司)
我们提出了一个简单而实用的方法命名实体链接(NEL),基于实体表示的多个嵌入。为了探索这种方法,并审查其对参数的依赖性,我们测量了它在命名不明确的实体的高度挑战性的数据集上的性能。我们的观察表明,创建知识库(KB)实体所需的最小提及次数对NEL性能非常重要。嵌入的数量是不太重要的,可以保持小,在10或更少的范围内。我们表明,我们的KB实体的表示可以调整,只使用KB数据,调整可以提高NEL性能。我们还比较了NEL性能的嵌入从不同的新闻文本调整语言模型,而不是从公共数据集XSum,CNN /每日邮报更统一的文本调整。我们发现,调整不同的新闻提供了更好的嵌入。
2022-11-20 cs.CL
Logic Attention Based Neighborhood Aggregation for Inductive Knowledge Graph Embedding
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室);Wuhan University(武汉大学)
知识图谱嵌入的目的是用低维向量对实体和关系进行建模。大多数以前的方法要求在训练期间应该看到所有实体,这对于每天都有新实体出现的真实世界知识图谱是不切实际的。最近在这个问题上的努力建议结合传统的实体和关系嵌入来训练邻域聚合器,这可以帮助通过它们现有的邻居来归纳地嵌入新的实体。然而,他们的邻居聚集器忽略了一个实体的邻居的无序和不平等的性质。为此,我们总结了所需的属性,可能导致有效的邻域聚合器。我们还介绍了一种新的聚合器,即逻辑注意力网络(LAN),它通过聚合邻居与规则和基于网络的注意力权重来解决这些属性。通过与传统聚合器在两个知识图谱完成任务上的比较,我们实验验证了LAN在所需属性方面的优越性。
2020-10-04 cs.AI cs.CL
Multi-level Representations for Fine-Grained Typing of Knowledge Base Entities
Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学)
实体是自然语言的基本元素。在本文中,我们提出了在三个互补层次上学习实体的多级表示的方法:字符(提取的实体名称中的字符模式,例如,通过神经网络)、词(实体名称中的词嵌入)和实体(实体嵌入)。我们调查了每个级别的最先进的学习方法,发现了很大的差异,例如,对于深度学习模型,传统的ngram特征和快速文本的子字模型(Bojanowski等人,2016);对于word 2 vec(Mikolov等人,2013);以及对于次序感知模型wang 2 vec(Ling et al.,2015年,在实体层面。我们证实实验,每个级别的表示贡献的互补信息和联合表示的所有三个级别提高了现有的嵌入基础上的基线细粒度实体打字的大幅度。此外,我们表明,从实体描述中添加信息,进一步提高了实体的多层次表示。
2017-01-16 cs.AI cs.CL
Evaluation of Embedding Models for Automatic Extraction and Classification of Acknowledged Entities in Scientific Documents
GESIS –- Leibniz Institute for the Social Sciences(GESIS——莱布尼茨社会科学研究所)
科学论文中的致谢可以让我们深入了解科学界的各个方面,例如奖励制度、合作模式和隐藏的研究趋势。本文的目的是评估不同的嵌入模型的性能,自动提取和分类的任务,承认的实体,从科技论文中的确认文本。我们使用Flair NLP框架训练并实现了一个命名实体识别(NER)任务。训练使用三个默认的Flair NER模型和两个不同大小的语料库进行。在较大的训练语料库上训练的Flair Embeddings模型显示出最好的准确率,为0.77。我们的模型能够识别六种实体类型:资助机构,资助编号,个人,大学,公司和杂项。该模型对某些实体类型的工作比其他实体类型更精确,因此,个人和赠款数量显示出非常好的F1分数超过0.9。大多数以前的工作确认分析是有限的数据的人工评估,因此,处理的数据量。该模型可用于对回执文本的综合分析,对回执文本的自动分析具有重要的意义。
2022-06-22 cs.CL cs.DL
Entity Embeddings with Conceptual Subspaces as a Basis for Plausible Reasoning
Cardiff University(卡迪夫大学)
概念空间是概念知识的几何表示,其中实体对应于点,自然属性对应于凸区域,并且空间的维度对应于显著特征。虽然概念空间能够为各种认知现象提供优雅的模型,但迄今为止,缺乏构建此类表示的自动化方法限制了它们在人工智能中的应用。为了解决这个问题,我们提出了一种方法,学习向量空间嵌入的实体从维基百科和约束这种嵌入,使相同的语义类型的实体位于一些低维子空间。我们实验证明这些子空间的有用性(近似)概念空间表示,除其他外,重要的功能可以建模为方向和自然属性往往对应于凸区域。
2017-10-25 cs.AI cs.CL
CoKE: Contextualized Knowledge Graph Embedding
Baidu Inc.(百度公司)
知识图谱嵌入将符号实体和关系映射到连续向量空间中,正受到越来越多的关注。先前的方法允许针对每个实体或关系的单个静态嵌入,忽略了它们内在的上下文性质,即,实体和关系可以出现在不同的图形上下文中,并且因此表现出不同的属性。这项工作提出了语境化知识图谱嵌入(CoKE),一种新的范式,考虑到这种上下文的性质,并学习动态的,灵活的,完全语境化的实体和关系嵌入。两种类型的图形上下文进行了研究:边缘和路径,都制定为实体和关系的序列。CoKE将序列作为输入,并使用Transformer编码器来获得上下文化表示。因此,这些表示自然地适应于输入,捕获其中的实体和关系的上下文含义。通过对多种公共基准测试的评估,验证了CoKE在链接预测和路径查询应答方面的优越性。在几乎所有情况下,它的性能始终优于或至少等同于当前最先进的技术,特别是在H@10路径查询应答中提供了21.0%的绝对改进。我们的代码可在\url{https://github.com/PaddlePaddle/Research/tree/master/KG/CoKE}上获得。
2020-04-04 cs.AI cs.CL
Modeling Fine-grained Information via Knowledge-aware Hierarchical Graph for Zero-shot Entity Retrieval
Tsinghua University(清华大学);Tencent(腾讯)
零镜头实体检索是指在zero-shot条件下,将提及与候选实体相关联,是自然语言处理中的一项重要任务。大多数现有的方法通过来自预训练的语言模型的相应上下文的句子嵌入来表示提及/实体。然而,我们认为,这种粗粒度的句子嵌入不能完全模型的提及/实体,特别是当对提及/实体的注意力分数相对较低。在这项工作中,我们提出了GER,一个\textbf{G}增强的\textbf{E}实体\textbf{R} etrieval框架,以捕获更多的细粒度信息作为补充句子嵌入。我们从相应的上下文中提取知识单元,然后构建一个提及/实体集中图。因此,我们可以通过从这些知识单元聚合信息来学习关于提及/实体的细粒度信息。为了避免中心提及/实体节点的图信息瓶颈,我们构造了一个层次图,并设计了一个新的层次图注意力网络HGAN。流行的基准测试的实验结果表明,我们提出的GER框架比以前的国家的最先进的模型表现更好。该代码已在https://github.com/wutaiqiang/GER-WSDM2023上提供。
2022-11-20 cs.CL
Inductively Representing Out-of-Knowledge-Graph Entities by Optimal Estimation Under Translational Assumptions
Key Lab of Computational Linguistics, School of EECS, Peking University(北京大学计算机学院计算语言学重点实验室);Peng Cheng Laboratory, China(鹏城实验室)
传统的知识图谱补全(KGC)假设所有测试实体在训练期间出现。然而,在现实世界的场景中,知识图谱(KG)的快速发展与外的知识图(OOKG)的实体添加频繁,我们需要有效地表示这些实体。现有的大多数知识图谱嵌入(KGE)方法不能表示OOKG实体,而需要对整个KG进行昂贵的重新训练。为了提高效率,我们提出了一个简单而有效的方法,归纳表示OOKG实体的最佳估计下平移的假设。给定知识图(IKG)实体的预训练嵌入,我们的方法不需要额外的学习。实验结果表明,我们的方法优于国家的最先进的方法具有更高的效率对两个KGC任务与OOKG实体。
2020-09-27 cs.CL cs.IR cs.LG
Composing and Embedding the Words-as-Classifiers Model of Grounded Semantics
Boise State University(博伊西州立大学)
基于词汇语义的词作为分类器模型学习物理实体和用于表示这些实体的词之间的语义适应度得分。在本文中,我们将探讨这样一个模型可以增量执行组合,以及如何将模型与分布式表示统一起来。对于后者,我们利用分类器系数作为嵌入。对于组合,我们利用三种不同分类器类型的底层机制(即,逻辑回归、决策树和多层感知器),以获得对每个分类器唯一的组合的几种系统方法,包括组合的外延和内涵方法。我们将这些方法相互比较,并与使用refCOCO数据集的视觉参考分辨率任务中的先前工作进行比较。我们的研究结果表明,需要扩大现有的组成策略,并汇集接地和分布表示。
2019-11-08 cs.CL
Graph-Convolutional Networks: Named Entity Recognition and Large Language Model Embedding in Document Clustering
Centre Borelli UMR9010(博雷利中心UMR9010);Université Paris Cité(巴黎大学)
本文提出将命名实体识别(NER)与大语言模型(LLM)嵌入结合,构建基于图卷积网络(GCN)的文档聚类框架,有效提升了富含命名实体文档的聚类效果。
2024-12-19 cs.CL
QuatRE: Relation-Aware Quaternions for Knowledge Graph Embeddings
Oracle Labs(甲骨文实验室);AEHRC, CSIRO(澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心);VinAI Research(VinAI研究院);Monash University(莫纳什大学)
我们提出了一个简单而有效的嵌入模型来学习知识图谱中实体和关系的四元数嵌入。我们的模型旨在增强头部和尾部实体之间的相关性,给定四元数空间内的关系与汉密尔顿产品。该模型通过进一步将每个关系与两个关系感知旋转相关联来实现这一目标,这两个关系感知旋转分别用于旋转头部和尾部实体的四元数嵌入。实验结果表明,我们提出的模型产生国家的最先进的性能在著名的基准数据集知识图谱完成。我们的代码可从以下网址获得:\url{https://github.com/daiquocnguyen/QuatRE}。
2022-03-08 cs.AI cs.CL cs.LG
Explainable Link Prediction for Emerging Entities in Knowledge Graphs
Rutgers University–New Brunswick(罗格斯大学新不伦瑞克分校);Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所)
尽管跨领域知识图谱的覆盖范围很大,但它们总是存在固有的不完整性和稀疏性。链接预测可以通过在给定源实体和查询关系的情况下推断目标实体来减轻这种情况。最近的嵌入为基础的方法操作在一个不可解释的潜在语义向量空间的实体和关系,而基于路径的方法操作在符号空间,使推理过程可解释。然而,这些方法通常考虑知识图谱的静态快照,严重限制了它们对于具有新出现的实体的演化知识图谱的适用性。为了克服这个问题,我们提出了一个归纳表示学习框架,能够学习以前看不见的实体的表示。我们的方法发现源和目标实体之间的推理路径,从而使链接预测看不见的实体可解释的,并提供支持证据的推断链接。
2020-09-25 cs.CL
ConE: Cone Embeddings for Multi-Hop Reasoning over Knowledge Graphs
Texas A&M University(德克萨斯A&M大学)
查询嵌入(QE)--其目的是在低维空间中嵌入实体和一阶逻辑(FOL)查询--在知识图谱上的多跳推理中显示出强大的功能。近年来,几何形状能够自然地表示查询的答案集以及它们之间的逻辑关系,因此,利用几何形状嵌入实体和查询成为一个很有前途的方向。然而,现有的基于几何的模型难以建模查询与否定,这显着限制了它们的适用性。为了解决这一挑战,我们提出了一种新的查询嵌入模型,即锥嵌入(ConE),这是第一个基于几何的QE模型,可以处理所有的FOL操作,包括合取,析取和否定。具体来说,ConE将实体和查询表示为二维圆锥的笛卡尔积,其中圆锥的交集和并集自然地模拟了合取和析取操作。通过进一步注意到锥的补的闭包仍然是锥,我们在嵌入空间中设计了几何补算子来进行求反运算。实验表明,ConE显着优于现有的最先进的方法在基准数据集。
2021-12-22 cs.AI cs.CL
SEE: Syntax-aware Entity Embedding for Neural Relation Extraction
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Collaborative Innovation Center of Novel Software Technology and Industrialization(新型软件技术与产业化协同创新中心);Alibaba Group(阿里巴巴集团);School of Computer Science and Technology, Heilongjiang University(黑龙江大学计算机科学与技术学院)
距离监督关系抽取是一种有效的大规模关系抽取方法,被广泛用于从纯文本中发现新的关系事实。近年来神经关系抽取的研究通过在低维空间中对句子建模取得了很大进展,但很少考虑句法信息对实体建模。在本文中,我们提出学习语法感知的实体嵌入神经关系抽取。首先,我们编码的依赖树上的实体的上下文作为基于树GRU的事务级实体嵌入。然后,我们利用句子内和句子间的注意力,以获得句子集合级的实体嵌入所有句子包含的焦点实体对。最后,我们结合句子嵌入和实体嵌入进行关系分类。我们在一个广泛使用的真实数据集上进行了实验,实验结果表明,我们的模型可以充分利用所有的信息实例,并实现了最先进的性能的关系抽取。
2018-01-11 cs.CL
Knowledge Graph Embeddings with Representing Relations as Annular Sectors
Corresponding author(通讯作者)
针对现有基于区域的知识图谱嵌入模型忽略实体语义层级的问题,提出极坐标下的SectorE模型,将关系建模为环形扇区、实体嵌入为扇区内点以编码层级结构,在多个基准数据集上取得了有竞争力的性能。
2025-06-06 cs.AI cs.CL cs.LG
DOLORES: Deep Contextualized Knowledge Graph Embeddings
Shanghai Jiao Tong University(上海交通大学);UC Santa Barbara(加州大学圣塔芭芭拉分校)
我们介绍了一种新的方法DOLORES学习知识图谱嵌入,有效地捕捉上下文线索和实体和关系之间的依赖关系。首先,我们注意到,由实体和关系链组成的知识图谱上的短路径可以编码关于其上下文使用的有价值的信息。我们通过将知识图谱表示为实体-关系链的集合而不是三元组的集合来实现这一概念,并使用捕获这种上下文用法的深度神经模型来学习实体和关系的嵌入。特别是,我们的模型基于双向LSTM,并从构建的实体关系链中学习实体和关系的深层表示。我们表明,这些表示可以很容易地被纳入现有的模型,显着推进的几个知识图谱预测任务,如链接预测,三重分类,和丢失的关系类型预测(在某些情况下,至少9.5%)的最先进的。
2018-10-31 cs.AI cs.CL cs.LG
Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings
Zhejiang University(浙江大学)
提出kNN-KGE方法,通过预训练语言模型结合k近邻线性插值实体分布,显式记忆罕见或新实体,显著提升归纳与直推式链接预测及低资源场景下的性能。
2023-07-30 cs.AI cs.CL cs.DB
Language Models as Knowledge Embeddings
Fudan University(复旦大学);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
提出LMKE,利用语言模型和对比学习框架推导知识嵌入,解决了现有方法在长尾实体表示及负采样成本上的局限,并在链接预测和三元组分类基准上取得最优性能。
2023-06-29 cs.AI cs.CL cs.LG
Geolocation of Cultural Heritage using Multi-View Knowledge Graph Embedding
European Center for Living Technology (ECLT)(欧洲生活技术中心(ECLT));Ca’ Foscari University of Venice(威尼斯大学);Istituto Italiano di Tecnologia(意大利技术研究院)
知识图谱(KG)已被证明是一种可靠的数据结构化方法。它们可以提供关于文化遗产收藏的丰富背景信息。然而,文化遗产幼儿园远未完成。它们往往缺少重要的属性,如地理位置,特别是对于雕塑和移动或室内实体,如绘画。在本文中,我们首先提出了一个框架,从不同的数据源和连接到一个地理定位KG的多跳知识的有形文化遗产实体的知识。其次,我们提出了一个多视图学习模型,用于估计一对给定的文化遗产实体之间的相对距离,基于地理以及实体的知识连接。
2022-09-08 cs.CL cs.LG cs.SI
Learning High-order Structural and Attribute information by Knowledge Graph Attention Networks for Enhancing Knowledge Graph Embedding
Tencent Inc(腾讯公司)
知识图谱表示学习的目标是将实体和关系编码到一个低维的嵌入空间中。最近的许多工作已经证明了知识图谱嵌入知识图谱完成任务的好处,如关系抽取。然而,我们注意到:1)现有方法只考虑实体间的直接关系,无法表达实体间的高阶结构关系; 2)这些方法只利用KG的关系三元组,而忽略了大量编码丰富语义信息的属性三元组。为了克服这些局限性,本文提出了一种新的知识图谱嵌入方法,命名为KANE,这是最近的发展的启发图卷积网络(GCN)。KANE在图卷积网络的框架下,能够高效、清晰、统一地捕捉知识群的高阶结构和属性信息。三个数据集的实证结果表明,KANE显着优于七个国家的最先进的方法。进一步的分析验证了我们的方法的有效性和注意力机制带来的好处。
2019-10-10 cs.AI cs.CL
Open Named Entity Modeling from Embedding Distribution
Shanghai Jiao Tong University(上海交通大学);University of Southern California(南加州大学)
在本文中,我们报告了我们的发现命名实体分布在一般的词嵌入空间,这有助于一个开放的定义多语言命名实体的定义,而不是以前的封闭和约束定义命名实体通过命名实体字典,这通常是来自人工劳动和响应时间表更新。我们对单语词嵌入的初步可视化表明,命名实体倾向于聚集在一起,尽管命名实体类型和语言差异,这使我们能够使用嵌入空间内的特定几何结构,即命名实体超球体来建模所有命名实体。对于单语言的情况下,建议的命名实体模型给出了一个开放的描述不同的命名实体类型和不同的语言。对于跨语言的情况下,映射所提出的命名实体模型提供了一种新的方式来构建命名实体数据集的资源贫乏的语言。最后,所提出的命名实体模型可以作为一个方便的线索,以提高国家的最先进的命名实体识别系统一般。
2021-02-10 cs.CL cs.IR
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University(东北大学);Ulster University(阿尔斯特大学)
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$,头实体$h$与尾实体$t$具有关系$r$,当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$,每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的,因此这些表示不能用于检测未知事实(如果实体或关系从未出现在知识图谱中)。本文提出了一种新的方法,称为transW,旨在超越目前的工作,组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词(通常),学习从单词嵌入空间到知识嵌入空间的映射函数是明智的,它显示了如何使用人类单词构建实体。更重要的是,使用词嵌入构成知识嵌入使得处理出现的新事实(新实体或关系)成为可能。使用三个公共数据集的实验结果表明,建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
Duality-Induced Regularizer for Semantic Matching Knowledge Graph Embeddings
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心);Texas A&M University(德克萨斯农工大学)
语义匹配模型--假设具有相似语义的实体具有相似的嵌入--在知识图谱嵌入(KGE)中显示出强大的功能。现有的语义匹配模型多采用嵌入空间的内积来度量静态和时态知识图谱中三元组和四元组的可扩展性。然而,与另一个向量具有相同内积的向量仍然可以彼此正交,这意味着具有相似语义的实体可能具有不同的嵌入。内积的这种性质极大地限制了语义匹配模型的性能。为了解决这一挑战,我们提出了一种新的正则化器-即Duality-induced Regularizer(DURA)-它有效地鼓励具有相似语义的实体具有相似的嵌入。DURA的主要新颖性是基于这样的观察,即对于现有的语义匹配KGE模型(原始),通常存在另一个与之密切相关的基于距离的KGE模型(对偶),这可以用作实体嵌入的有效约束。实验表明,DURA一致和显着提高了最先进的静态和时间知识图谱基准的语义匹配模型的性能。
2022-04-06 cs.AI cs.CL
Meta-Knowledge Transfer for Inductive Knowledge Graph Embedding
Zhejiang University(浙江大学);Huawei Technologies Co., Ltd.(华为技术有限公司);State Key Laboratory of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室);ZJU-Hangzhou Global Scientific and Technological Innovation Center(浙江大学杭州国际科创中心);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
由大量三元组组成的知识图(Knowledge Graph,KG)近年来得到广泛应用,许多知识图谱嵌入(Knowledge Graph,KGE)方法被提出来将KG中的实体和关系嵌入到连续向量空间中。这种嵌入方法简化了进行各种KG内任务(例如,链接预测)和KG外任务(例如,问答)。它们可以被视为代表KG的一般解决方案。然而,现有的KGE方法不适用于归纳设置,其中在源KG上训练的模型将在目标KG上进行测试,其中在模型训练期间看不到实体。现有的工作集中在归纳设置中的KG只能解决归纳关系预测任务。它们不能像KGE方法那样处理其他KG外的任务,因为它们不为实体生成嵌入。在本文中,实现归纳知识图谱嵌入,我们提出了一个模型MorsE,它不学习实体的嵌入,但学习可转移的元知识,可用于产生实体嵌入。这种元知识由实体独立的模块建模,并通过元学习来学习。实验结果表明,我们的模型显着优于相应的基线在KG和KG外的任务在归纳设置。
2022-05-06 cs.AI cs.CL cs.LG
Embedding Multimodal Relational Data for Knowledge Base Completion
University of California(加利福尼亚大学)
在嵌入空间中表示实体和关系是关系数据上的机器学习的一种经过充分研究的方法。然而,现有的方法主要集中在有限实体集之间的简单链接结构上,忽略了知识库中经常使用的各种数据类型,例如文本、图像和数值。在本文中,我们提出了多模态知识库嵌入(MKBE),使用不同的神经编码器的各种观察到的数据,并将它们与现有的关系模型学习嵌入的实体和多模态数据。此外,使用这些学习的嵌入和不同的神经解码器,我们引入了一种新的多模态插补模型,从知识库中的信息中生成缺失的多模态值,如文本和图像。我们丰富现有的关系数据集,创建两个新的基准,包含额外的信息,如文本描述和原始实体的图像。我们证明,我们的模型有效地利用这些额外的信息,以提供更准确的链接预测,实现国家的最先进的结果与现有的方法有相当大的差距5-7%。此外,我们通过用户研究来评估我们生成的多模态值的质量。我们在https://github.com/pouyapez/mkbe上发布了数据集和模型的开源实现
2018-09-07 cs.AI cs.CL stat.ML