Incorporating Domain Knowledge into Medical NLI using Knowledge Graphs
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
最近,从语言模型(如BioELMo)获得的嵌入的生物医学版本已经显示出医学领域文本推理任务的最新结果。在本文中,我们将探讨如何将结构化的领域知识,可在一个知识图谱(UMLS)的形式,医疗NLI任务。具体来说,我们实验融合嵌入获得的知识图谱与国家的最先进的方法NLI任务(ESIM模型)。我们还尝试融合特定领域的情感信息的任务。在MedNLI数据集上进行的实验清楚地表明,该策略改进了医学NLI任务的基线BioELMo架构。
2019-08-31 cs.AI cs.CL cs.LG
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University(东北大学);Ulster University(阿尔斯特大学)
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$,头实体$h$与尾实体$t$具有关系$r$,当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$,每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的,因此这些表示不能用于检测未知事实(如果实体或关系从未出现在知识图谱中)。本文提出了一种新的方法,称为transW,旨在超越目前的工作,组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词(通常),学习从单词嵌入空间到知识嵌入空间的映射函数是明智的,它显示了如何使用人类单词构建实体。更重要的是,使用词嵌入构成知识嵌入使得处理出现的新事实(新实体或关系)成为可能。使用三个公共数据集的实验结果表明,建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
Knowledge Graph Fact Prediction via Knowledge-Enriched Tensor Factorization
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们提出了一个家庭的新方法嵌入知识图谱到实值张量。这些基于张量的嵌入捕获了由语义Web语言(如RDF)表示的知识图谱中典型的有序关系。与许多以前的模型不同,我们的方法可以很容易地使用用户提供的或从现有的知识图谱自动提取的先验背景知识。除了为知识图谱嵌入提供更鲁棒的方法外,我们还提供了一个可证明收敛的线性张量分解算法。我们证明了我们的模型在预测八个不同知识图谱的新事实的任务中的有效性,与现有的最先进的知识图谱嵌入技术相比,实现了5%到50%的相对改进。我们的实证评估表明,当图中实体的平均度很高时,所有的张量分解模型都表现良好,基于约束的模型在具有少量高度相似关系的图上表现更好,而基于正则化的模型在具有不同相似度关系的图中占主导地位。
2019-02-08 cs.AI cs.CL cs.LG
Graph Pattern Entity Ranking Model for Knowledge Graph Completion
SOKENDAI(综合研究大学院大学);National Institute of Informatics(国立信息学研究所)
近年来,知识图谱发展迅速,其有用性已在许多人工智能任务中得到证明。然而,知识图谱往往有很多缺失的事实。为了解决这个问题,许多知识图谱嵌入模型已经被开发出来填充知识图谱,这些都表现出出色的性能。然而,知识图谱嵌入模型是所谓的黑盒,并且用户不知道如何处理知识图谱中的信息,并且模型可能难以解释。在本文中,我们利用知识图谱中的图形模式来克服这些问题。我们提出的模型,{ \it图形模式实体排名模型}(GRank),构建了一个实体排名系统,为每个图形模式,并评估他们使用的排名措施。通过这样做,我们可以找到对预测事实有用的图形模式。然后,我们在标准数据集上执行链接预测任务,以评估我们的GRank方法。我们表明,我们的方法优于其他国家的最先进的方法,如ComplEx和TorusE的标准指标,如HITS@{ \it n}和MRR。此外,我们的模型是很容易解释的,因为输出的事实描述的图形模式。
2019-04-05 cs.AI cs.CL
A Survey on Knowledge Graphs: Representation, Acquisition and Applications
Aalto University(阿尔托大学);Monash University(莫纳什大学);Nanyang Technological University(南洋理工大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
人类知识提供了对世界的正式理解。表示实体之间结构关系的知识图谱已经成为认知和人类智能的一个日益流行的研究方向。本文对知识图谱的研究现状进行了综述,包括1)知识图谱的表示学习、2)知识获取和完成、3)时态知识图谱、4)知识感知应用等方面的研究,并总结了近期的突破和展望方向,以促进未来的研究。我们提出了一个完整的视图分类和新的分类这些主题。知识图谱嵌入从表示空间、评分函数、编码模型和辅助信息四个方面进行组织。对于知识获取,特别是知识图谱的完善,嵌入方法,路径推理和逻辑规则推理,进行了综述。我们进一步探讨了几个新兴的主题,包括Meta关系学习,常识推理和时间知识图谱。为了促进未来对知识图谱的研究,我们还提供了一个针对不同任务的数据集和开源库的精选集合。最后,对几个有前景的研究方向进行了展望.
2021-04-01 cs.AI cs.CL
Is There More Pattern in Knowledge Graph? Exploring Proximity Pattern for Knowledge Graph Embedding
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);National Computer Network Emergency Response Technical Team/Coordination Center of China(国家计算机网络应急技术处理协调中心)
关系模式的建模是知识图谱嵌入研究的核心内容,它表示一个实体与另一个实体之间的显式语义关系。然而,实体之间还有一种更自然、更直观的关联性,即一个实体在语义上如何接近另一个实体,却往往被忽略,而没有考虑任何显式的关系。我们将这种知识图谱中的语义现象称为邻近模式。在这项工作中,我们探讨了如何定义和表示邻近模式,以及如何利用它来帮助知识图谱嵌入的问题。首先,我们定义了任何两个实体的接近度,根据他们的统计共享查询,然后我们构建了一个派生的图结构,并表示从全局视图的接近模式。此外,在原有知识图谱的基础上,设计了一种链式耦合GNN(CP-GNN)结构,将两种模式(图谱)深度融合在一起,实现了更全面的知识嵌入。在FB 15 k-237和WN 18 RR数据集上进行了测试,CP-GNN在知识图谱补全任务上取得了最好的效果,尤其是对于包含多个答案实体的复杂查询,可以提高建模能力,证明了引入邻近模式的有效性。
2021-10-02 cs.AI cs.CL cs.LG
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明,语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明,联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
Learning High-order Structural and Attribute information by Knowledge Graph Attention Networks for Enhancing Knowledge Graph Embedding
Tencent Inc(腾讯公司)
知识图谱表示学习的目标是将实体和关系编码到一个低维的嵌入空间中。最近的许多工作已经证明了知识图谱嵌入知识图谱完成任务的好处,如关系抽取。然而,我们注意到:1)现有方法只考虑实体间的直接关系,无法表达实体间的高阶结构关系; 2)这些方法只利用KG的关系三元组,而忽略了大量编码丰富语义信息的属性三元组。为了克服这些局限性,本文提出了一种新的知识图谱嵌入方法,命名为KANE,这是最近的发展的启发图卷积网络(GCN)。KANE在图卷积网络的框架下,能够高效、清晰、统一地捕捉知识群的高阶结构和属性信息。三个数据集的实证结果表明,KANE显着优于七个国家的最先进的方法。进一步的分析验证了我们的方法的有效性和注意力机制带来的好处。
2019-10-10 cs.AI cs.CL
Knowledge Aware Conversation Generation with Explainable Reasoning over Augmented Graphs
Baidu Inc.(百度公司)
研究了两类知识,即来自知识图谱的三元组和来自文档的文本,用于知识感知的开域会话生成,其中图谱路径可以为知识选择决策缩小顶点候选,文本可以为响应生成提供丰富的信息.知识图谱与文本的融合可能会产生相互增强的优势,但这方面的研究较少。为了解决这一挑战,我们提出了一个知识意识聊天机三个组件,一个增强的知识图谱与三元组和文本,知识选择器,知识意识的响应生成器。对于图上的知识选择,我们将其表述为多跳图推理问题,以有效地捕获会话流,与以前的工作相比,这是更可解释和灵活的。为了充分利用将我们的图与其他图区分开来的长文本信息,我们使用机器阅读理解技术改进了最先进的推理算法。我们证明了我们的系统在两个数据集上与最先进的模型相比的有效性。
2019-09-03 cs.AI cs.CL
CoLAKE: Contextualized Language and Knowledge Embedding
Fudan University(复旦大学);Amazon Shanghai AI Lab(亚马逊上海人工智能实验室)
随着将事实知识整合到预先训练的语言模型(如BERT)中的新兴分支的出现,大多数现有模型都考虑了浅层、静态和单独预先训练的实体嵌入,这限制了这些模型的性能提升。很少有研究探讨在注入知识时深度情境化知识表示的潜力。在本文中,我们提出了语境化语言和知识嵌入(CoLAKE),它联合学习语言和知识的语境化表示与扩展的MLM目标。CoLAKE不是只注入实体嵌入,而是从大规模知识库中提取实体的知识上下文。为了处理知识上下文和语言上下文的异构性,我们将它们集成到一个统一的数据结构中,即词-知识图谱(WK图)。CoLAKE使用修改后的Transformer编码器在大规模WK图上进行预训练。我们在知识驱动任务、知识探索任务和语言理解任务上进行了实验。实验结果表明,CoLAKE在大多数任务上都优于以前的同类算法.此外,CoLAKE在我们的综合任务词-知识图谱完成上取得了令人惊讶的高性能,这显示了同时上下文化语言和知识表示的优越性。
2020-10-01 cs.AI cs.CL
KG-BERT: BERT for Knowledge Graph Completion
Northwestern University(西北大学)
知识图谱是许多人工智能任务的重要资源,但往往遭受不完整性。在这项工作中,我们建议使用预先训练的语言模型来完成知识图谱。本文将知识图谱中的三元组视为文本序列,提出了一种新的知识图谱双向编码器表示Transformer(KG-BERT)框架来建模这些三元组。该方法以三元组的实体描述和关系描述为输入,利用KG-BERT语言模型计算三元组的评分函数。在多个基准知识图谱上的实验结果表明,该方法在三重分类、链接预测和关系预测等任务中均能取得较好的性能.
2019-09-11 cs.AI cs.CL
A Survey on Temporal Knowledge Graph: Representation Learning and Applications
College of Computer Science and Technology, Guizhou University(贵州大学计算机科学与技术学院);Department of Industrial Engineering, Tsinghua University(清华大学工业工程系)
本文针对现有研究多聚焦静态知识图谱、忽略其动态演化的问题,全面综述时序知识图谱表示学习及应用,介绍相关基础定义与指标,提出方法分类体系并深入分析,梳理下游应用并展望未来研究方向。
2024-03-02 cs.AI cs.CL
On Exploring the Reasoning Capability of Large Language Models with Knowledge Graphs
Singapore Management University(新加坡管理大学);National Sun Yat-sen University(国立中山大学)
本文研究大语言模型利用预训练知识图谱进行推理的能力,通过四类任务验证其记忆回忆与上下文推断表现,并识别出内容幻觉和本体幻觉两类问题。
2023-12-01 cs.AI cs.CL
Knowledge Engineering using Large Language Models
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
该研究探讨大语言模型对知识工程领域的影响,提出混合神经符号知识系统、自然语言知识工程两大核心方向,并列出相关关键开放研究问题。
2023-10-01 cs.AI cs.CL
Knowledge Graph Embeddings in the Biomedical Domain: Are They Useful? A Look at Link Prediction, Rule Learning, and Downstream Polypharmacy Tasks
University of Edinburgh(爱丁堡大学);University of Victoria(维多利亚大学)
本研究评估知识图谱嵌入在生物医学知识图谱BioKG上的性能,实现HITS@10三倍提升,并通过规则方法提供可解释预测,验证其在多药治疗下游任务中的实际适用性。
2023-08-31 cs.AI cs.LG
Relations Prediction for Knowledge Graph Completion using Large Language Models
University of Georgia(佐治亚大学)
本文提出仅利用知识图谱节点名称微调大型语言模型进行关系预测,使模型能在归纳式设置下运行,并在广泛使用的知识图谱基准上取得新的分数。
2024-05-04 cs.AI cs.CL
InGram: Inductive Knowledge Graph Embedding via Relation Graphs
KAIST(韩国科学技术院)
针对归纳知识图谱补全中推理时新实体常伴随新关系的问题,本文提出 InGram,通过关系图与注意力机制聚合生成新实体和新关系嵌入,并在多种场景下优于14种最先进方法。
2023-08-17 cs.AI cs.LG
Relphormer: Relational Graph Transformer for Knowledge Graph Representations
Zhejiang University(浙江大学);Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph(浙江大学蚂蚁集团知识图谱联合实验室);Alibaba Group(阿里巴巴集团)
针对原始Transformer难以捕捉知识图谱异构信息的问题,提出Relphormer模型,通过Triple2Seq动态采样子图序列和结构增强自注意力机制编码关系与语义,并利用掩码知识建模在多项KG任务上取得优于基线的性能。
2023-11-21 cs.AI cs.CL cs.IR
Triple2Vec: Learning Triple Embeddings from Knowledge Graphs
University of Calabria(卡拉布里亚大学);University of Rome La Sapienza(罗马大学(罗马第一大学))
图嵌入技术允许从图结构中学习高质量的特征向量,并且在从节点分类到聚类的各种任务中都很有用。现有的方法只专注于学习(知识)图中节点的特征向量。据我们所知,他们都没有解决嵌入的问题,图的边缘,即知识图谱三元组。更接近该任务的方法集中在仅涉及一种类型的边的齐次图上,并且通过应用一些操作(例如,平均)对端点节点的嵌入。本文的目标是介绍Triple2Vec,一种直接在(知识)图中嵌入边的新技术。Trple2Vec建立在三个主要成分之上。第一个是线图的概念。图的线图是表示原始图的边之间的邻接的另一个图。特别地,线图的节点是原始图的边。我们表明,直接应用现有的嵌入技术的线图的节点学习边缘嵌入是不够的,在知识图谱的上下文中。因此,我们引入三线图的概念。第二种是一种边加权机制,适用于由知识图谱得到的线图和齐次图。第三种策略是基于加权三线图上的图行走,可以保持节点之间的接近度。嵌入最终通过采用SkipGram模型生成,其中句子被替换为图遍历。我们评估我们的方法在不同的现实世界(知识)图,并将其与相关的工作。
2019-05-28 cs.AI cs.LG
Temporal Knowledge Graph Completion using Box Embeddings
University of Oxford(牛津大学)
知识图谱完成是基于知识图谱中的现有数据推断缺失事实的任务。时间知识图谱完成(TKGC)是该任务到时间知识图谱的扩展,其中每个事实另外与时间戳相关联。目前的TKGC方法主要建立在现有的嵌入模型上,这些模型是为(静态)知识图谱完成而开发的,并将这些模型扩展到包含时间,其中的想法是学习实体,关系和时间戳的潜在表示,然后使用学习到的表示来预测在各个时间步丢失的事实。本文在静态知识图谱嵌入模型BoxE的基础上,提出了一种面向TKGC的嵌入模型BoxTE。我们发现,BoxTE是充分的表达,并具有很强的归纳能力的时间设置。然后,我们实证评估我们的模型,并表明它实现了国家的最先进的结果在几个TKGC基准。
2021-09-18 cs.AI cs.LG
Expanding Knowledge Graphs with Humans in the Loop
Cornell University(康奈尔大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校);Pinterest
策划的知识图谱编码领域专业知识,并提高多个领域中的推荐、细分、广告定位和其他机器学习系统的性能。当新概念出现在某个领域时,必须扩展知识图谱以保持机器学习性能。然而,手动扩展知识图谱在规模上是不可行的。在这项工作中,我们提出了一种方法,知识图谱扩展与人类在循环。具体地说,给定一个知识图谱,我们的方法预测新概念的“父母”被添加到这个图中,供人类专家进一步验证。我们表明,我们的方法是准确的和可证明的“人性化”。具体来说,我们证明了我们的方法预测的父母是“附近”的概念的真正的父母在知识图谱,即使预测是不正确的。然后,我们通过一个对照实验表明,满足这一特性可以提高人类与算法协作的速度和准确性。我们进一步评估了我们的方法在Pinterest的知识图谱上,并表明它在准确性和人性化方面优于竞争方法。在Pinterest的生产中部署后,我们的方法将知识图谱扩展所需的时间减少了约400%(与手动扩展相比),并为随后的广告收入增加了20%。
2023-03-26 cs.AI cs.LG
Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling
Zhejiang Lab(之江实验室);Harbin Institute of Technology(哈尔滨工业大学)
针对大语言模型生成知识内容时事实回忆不足的问题,本文在综述知识图谱增强预训练语言模型研究的基础上,提出知识图谱增强大语言模型(KGLLM),为提升大模型事实推理能力提供新方案。
2024-01-30 cs.AI cs.CL
Bending the Future: Autoregressive Modeling of Temporal Knowledge Graphs in Curvature-Variable Hyperbolic Spaces
University of Southern California(南加州大学);University of California, Los Angeles(加州大学洛杉矶分校)
近年来,时变知识图谱或时态知识图谱(TKG)越来越受到学术界的关注。以往的研究表明,不同的方法TKG推理,使用历史信息。然而,较少关注的层次结构内的信息在不同的时间戳。假定TKG是基于时间的知识图谱的序列,则序列中的年表导出图之间的层次结构。此外,每个知识图谱具有其可以彼此不同的层次级别。为了解决TKG中的这些层次特征,我们提出了HyperVC,它利用双曲空间比欧几里得空间更好地编码层次。通过将知识图谱作为向量嵌入到公共双曲空间中,来表示不同时间戳处的知识图谱之间的时序层次。此外,不同层次的知识图谱表示通过调整其实体和关系的双曲嵌入的曲率。在四个基准数据集上的实验表明,该算法有了很大的改进,特别是在层次较高的数据集上。
2022-09-12 cs.AI cs.LG
Knowledge Graph Alignment using String Edit Distance
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
在这项工作中,我们提出了一种新的知识图谱对齐技术的基础上,字符串编辑距离,利用实体之间的类型信息,可以找到任何arity关系之间的相似性
2020-03-30 cs.AI cs.CL
KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction
University of California, Davis(加州大学戴维斯分校)
提出KGLM架构,通过引入新的实体/关系嵌入层学习知识图谱结构,并使用图谱三元组进一步预训练语言模型,在链接预测任务上取得最先进性能。
2023-05-17 cs.AI cs.CL
KompaRe: A Knowledge Graph Comparative Reasoning System
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
推理是从知识图谱中利用有价值的洞察力、知识和模式的基本能力。现有的工作主要集中在逐点推理,包括搜索、链接预测、实体预测、子图匹配等,本文介绍了知识图谱上的比较推理,旨在推断多条线索的共性和不一致性。我们设想,比较推理将补充和扩展现有的逐点推理知识图谱。详细地说,我们开发KompaRe,第一个原型系统,提供比较推理能力,在大型知识图谱。我们提出了系统的体系结构和核心算法,包括知识段提取,成对推理和集体推理。实证评估表明,拟议的KompaRe的功效。
2020-11-06 cs.AI cs.LG
KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning
Shanghai Jiao Tong University(上海交通大学)
KaLM通过双视角知识图谱对比学习和三元组完成语言模型,实现LLMs与知识图谱的对齐,提升知识驱动任务的性能。
2026-01-13 cs.AI cs.CL
Biomedical Knowledge Graph Refinement with Embedding and Logic Rules
Harbin Institute of Technology(哈尔滨工业大学);Cornell University(康奈尔大学)
目前,对提供直接和精确的生物医学知识的高质量生物医学知识图谱(BioKG)的需求迅速增长。在COVID-19的背景下,这一问题更有必要得到重视。然而,大多数BioKG的建设不可避免地包括许多冲突和噪音来自文献中的不正确的知识描述和有缺陷的信息抽取技术。许多研究表明,在知识图谱上进行推理可以有效地消除这些冲突和噪声。本文提出了一种改进BioKG质量的方法BioGRER,该方法将知识图谱的嵌入和支持三元组和否定三元组的逻辑规则相结合。在所提出的模型中,生物KG细化问题被配制为三胞胎在生物KG的概率估计。采用变分EM算法交替优化知识图谱嵌入和逻辑规则推理。通过这种方式,我们的模型可以结合知识图谱嵌入和逻辑规则的努力,从而比单独使用它们更好的结果。我们在COVID-19知识图谱上评估了我们的模型,并获得了有竞争力的结果。
2020-12-02 cs.AI cs.CL
Prediction of Adverse Biological Effects of Chemicals Using Knowledge Graph Embeddings
NORSAR(挪威地震阵列研究所);City, University of London(伦敦大学城市学院);Norwegian Institute for Water Research(挪威水研究所);University of Oslo(奥斯陆大学);University of Oxford(牛津大学);Norwegian University of Life Sciences(挪威生命科学大学);Norwegian Geotechnical Institute(挪威岩土工程研究所)
我们根据生态毒理学风险评估中使用的主要数据源创建了一个知识图谱。我们已将此知识图谱应用于风险评估中的一项重要任务,即化学效应预测。我们已经评估了九个知识图谱嵌入模型,这些模型来自于此预测任务中的几何模型、分解模型和卷积模型。我们表明,使用知识图谱嵌入可以提高神经网络的效果预测的准确性。此外,我们还实现了一个微调架构,使知识图谱嵌入适应效果预测任务,并带来更好的性能。最后,我们评估了知识图谱嵌入模型的某些特征,以揭示单个模型的性能。
2022-03-30 cs.AI cs.LG
Domain Representation for Knowledge Graph Embedding
Westlake University(西湖大学);Zhejiang University(浙江大学);Northeastern University(东北大学)
在连续多维向量空间中嵌入实体和关系已成为表示学习中知识图谱嵌入的主要方法。然而,大多数现有的模型忽略了表示层次知识,如在一个领域中的实体的相似性和不相似性。我们提出了在现有的知识图谱嵌入模型上学习域表示,使得具有相似属性的实体被组织到相同的域中。这种领域的层次知识可以在链接预测中提供进一步的证据。实验结果表明,域嵌入给出了最新的最先进的基线知识图谱嵌入模型的显着改善。
2019-09-11 cs.AI cs.CL
Fast Knowledge Graph Completion using Graphics Processing Units
ETRI(韩国电子通信研究院)
针对知识图谱补全中向量运算成本高的问题,提出基于GPU的框架,将可转换为度量空间的模型的补全问题转为相似连接问题,推导公式并开发快速算法,实验验证了高效性。
2023-07-22 cs.AI cs.DB cs.LG
Benchmark and Best Practices for Biomedical Knowledge Graph Embeddings
Yale University(耶鲁大学);University of Edinburgh(爱丁堡大学)
许多生物医学和医疗保健数据都以离散的符号形式编码,如文本和医疗代码。在知识库和本体中存储了大量的专家策划的生物医学领域知识,但是缺乏用于学习知识表示的可靠方法限制了它们在机器学习应用中的有用性。虽然近年来通过自然语言处理的进步,基于文本的表示学习有了显着的改进,但到目前为止,还缺乏学习生物医学概念嵌入的尝试。最近的一个家庭的模型称为知识图谱嵌入一般领域知识图谱显示出可喜的成果,我们探索其在生物医学领域的能力。我们在SNOMED-CT知识图谱上训练了几种最先进的知识图谱嵌入模型,提供了与现有方法进行比较的基准和对最佳实践的深入讨论,并证明了利用知识图谱的多关系性质学习生物医学知识表示的重要性。嵌入,代码和材料将提供给社区。
2020-06-24 cs.AI cs.CL
Farspredict: A benchmark dataset for link prediction
Iran University of Science and Technology(伊朗科技大学)
基于知识图谱嵌入的链接预测是知识图谱补全的一种常用方法。此外,在非英语知识图谱上训练KGE促进了这些语言的上下文中的知识提取和知识图谱推理。然而,许多挑战,在非英语知识的几何图形构成学习的低维表示的知识图谱的实体和关系。本文提出了基于Farsbase(波斯语中最全面的知识图谱)的波斯语知识图谱“Farspredict”。它还解释了知识图谱结构如何影响KGE中的链接预测精度。为了评估Farspredict,我们在其上实现了流行的KGE模型,并将结果与Freebase进行了比较。根据分析结果,对知识图谱进行了优化,以提高知识图谱在KGE中的功能。结果,得到了一个新的波斯语知识图谱。在许多情况下,Farspredict上的KGE模型的实现结果优于Freebases。最后,我们讨论了哪些改进可以有效地提高Farspredict的质量,以及它提高了多少。
2023-03-26 cs.AI cs.CL
Locally Adaptive Translation for Knowledge Graph Embedding
Institute of Computing Technology, Chinese Academy of Science(中国科学院计算技术研究所)
知识图谱嵌入的目的是将大规模知识图谱中的实体和关系表示为连续向量空间中的元素。现有的方法,例如,transE和transH,通过在数据上定义一个基于全局边缘的损失函数来学习嵌入表示。然而,最佳损失函数是在实验期间确定的,实验的参数是在一组封闭的候选者中检查的。此外,在具有不同实体和关系的两个知识图谱上的嵌入共享相同的候选损失函数集合,忽略两个图的局部性。这导致嵌入相关应用程序的性能有限。在本文中,我们提出了一个局部自适应的翻译方法知识图谱嵌入,称为transA,找到最佳的损失函数,通过自适应地确定其边缘不同的知识图谱。在两个基准数据集上的实验表明,该方法的优越性,相比,国家的最先进的。
2015-12-04 cs.AI cs.CL
Integrating Graph Contextualized Knowledge into Pre-trained Language Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Cloud & AI(华为云与AI);School of Computer Science, University of Science and Technology of China(中国科学技术大学计算机科学学院)
复杂的节点交互在知识图谱中很常见,这些交互也包含着丰富的知识信息。然而,传统方法在知识表示学习过程中,通常将三元组作为训练单元,忽略了知识图谱中节点的上下文信息。我们将建模对象概括为一个非常一般的形式,理论上支持从知识图谱中提取的任何子图,这些子图被送入一个新的基于变换的模型来学习知识嵌入。为了拓宽知识的使用场景,利用预先训练的语言模型来构建包含所学习的知识表示的模型。实验结果表明,我们的模型在几个医学NLP任务上达到了最先进的性能,并且在TransE之上的改进表明我们的KRL方法有效地捕获了图的上下文信息。
2021-09-30 cs.AI cs.CL
Hardware-agnostic Computation for Large-scale Knowledge Graph Embeddings
Paderborn University(帕德博恩大学)
知识图谱嵌入的研究主要集中在学习连续表示的知识图谱的链接预测问题。最近开发的框架可以有效地应用于研究相关的应用程序。然而,这些框架并不能满足现实世界应用程序的许多要求。随着知识图谱的大小增长,将计算从商品计算机移动到这些框架中的计算机集群变得更具挑战性。寻找合适的超参数设置w.r.t.时间和计算预算留给实践者。此外,知识图谱嵌入框架中的持续学习方面经常被忽视,尽管持续学习在许多现实世界(深度)学习驱动的应用中起着重要作用。可以说,这些限制解释了缺乏公开可用的知识图谱嵌入模型的大型知识图谱。我们开发了一个基于DASK、Pytorch Lightning和Hugging Face的框架,以硬件无关的方式计算大规模知识图谱的嵌入,这能够解决与实际应用规模相关的现实挑战。我们提供了我们框架的开源版本以及具有超过11.4 B参数的预训练模型的中心。
2022-07-18 cs.AI cs.LG
Towards Loosely-Coupling Knowledge Graph Embeddings and Ontology-based Reasoning
Technische Universität Berlin(柏林工业大学);Sapienza University of Rome(罗马第一大学)
知识图谱完成(又名~链接预测),即~从知识图谱推断缺失信息的任务是在诸如产品推荐和问答的许多应用中广泛使用的任务。知识图谱嵌入和/或规则挖掘和推理的现有技术方法是数据驱动的,因此仅基于输入知识图谱包含的信息。这导致不令人满意的预测结果,使得这种解决方案不适用于关键领域,如医疗保健。为了进一步提高知识图谱完成的准确性,我们提出将知识图谱嵌入的数据驱动能力与源于专家或蕴涵机制的特定于领域的推理(例如,OWL2)。通过这种方式,我们不仅可以利用输入知识图谱中可能不包括的领域知识来提高预测精度,而且还允许用户插入他们自己的知识图谱嵌入和推理方法。我们的初步结果表明,我们提高了香草知识图谱嵌入的MRR精度高达3倍,并优于混合解决方案,结合知识图谱嵌入与规则挖掘和推理高达3.5倍MRR。
2022-07-04 cs.AI cs.DB cs.LG
Augmenting Knowledge Graph Hierarchies Using Neural Transformers
Adobe Inc.(奥多比公司)
本研究针对知识图谱层级增强问题,利用大语言模型结合少样本提示、单样本生成及循环生成技术,实现小型领域KG层级的有效增强,大幅提升了意图与颜色类别的层级覆盖率。
2024-04-11 cs.AI cs.CL cs.DL
Path-Based Contextualization of Knowledge Graphs for Textual Entailment
IBM Research(IBM研究院);McGill University(麦吉尔大学)
在本文中,我们介绍了知识图谱情境化的问题--即,给定一个特定的NLP任务,从给定的知识图谱中提取有意义的相关子图的问题。本文的任务是文本蕴涵问题,上下文是文本蕴涵问题实例的相关子图--给定两个句子p和h,必须自动预测它们之间的蕴涵关系。我们的方法基于在成本定制的外部知识图谱中找到路径,并构建连接p和h的最相关子图。我们表明,我们的路径选择机制,以产生子图,不仅减少了噪音,但也检索有意义的信息,从大型知识图谱。我们的评估表明,使用信息的实体以及它们之间的关系,提高了纯基于文本的系统的性能。
2020-02-04 cs.AI cs.CL
Open Domain Knowledge Extraction for Knowledge Graphs
Apple(苹果公司)
针对知识图谱构建中实体与事实的完整性、时效性难题,提出可扩展的ODKE框架,从开放网络大规模抽取高质量知识,支持多延迟模式的流式与批处理,并分享了工业级部署的经验。
2023-10-30 cs.AI cs.CL
Enhancing Multilingual Language Model with Massive Multilingual Knowledge Triples
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学);Salesforce Research(赛富时研究院)
知识增强的语言表示学习在各种知识密集型NLP任务中显示出有希望的结果。然而,现有方法在有效利用多语言知识图谱(KG)数据进行语言模型(LM)预训练方面受到限制。他们经常以间接的方式用KG训练LM,依靠额外的实体/关系嵌入来促进知识注入。在这项工作中,我们探索的方法,以更好地利用KG三元组的多语言注释和语言不可知属性,并提出了新的基于知识的多语言语言模型(KMLMs)直接训练的知识三元组。我们首先使用Wikidata KG三元组生成大量的多语言合成句子。然后,基于生成的数据的句内和句间结构,我们设计了预训练任务,使LM不仅记住事实知识,而且还学习有用的逻辑模式。我们的预训练KMLM在广泛的知识密集型跨语言任务上表现出显着的性能改进,包括命名实体识别(NER),事实知识检索,关系分类和新设计的逻辑推理任务。
2022-10-19 cs.AI cs.CL
Large language models converge toward human-like concept organization
University of Copenhagen(哥本哈根大学)
本研究探讨大型语言模型是否形成类人概念组织,发现其与知识库结构高度相似,且模型规模越大、性能越好,概念组织越接近人类。
2023-08-29 cs.CL cs.LG
Knowledge Fusion via Embeddings from Text, Knowledge Graphs, and Images
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
我们提出了一个跨模态知识融合的基线方法。不同的基本融合方法进行评估现有的嵌入方法,以显示潜在的加入知识的某些概念跨模态融合的概念表示。
2017-04-20 cs.AI cs.LG stat.ML
Construction and Application of Teaching System Based on Crowdsourcing Knowledge Graph
Guangzhou University(广州大学);School of Computer Science and Cyber Engineering(计算机与网络工程学院);School of Education(教育学院)
通过众包知识图谱与教学系统的结合,研究了知识图谱的生成方法及其应用。利用众包任务分配和反向验证码生成两种众包方法构建教学系统领域的知识图谱。以学校、学生、教师、课程、知识点、习题类型为节点,生成教学领域完整的层次化知识图谱。众包方式构建的知识图谱需要多用户协同参与,充分考虑教师引导和用户动员问题。基于知识图谱的三个子图,可以可视化优秀教师、学生学习情况和合适的学习路线。个性化习题推荐模型是利用基于知识图谱的算法来制定个性化习题。开发了协同创作模型,实现众包构建机制。尽管学习者对知识图谱的学习模式并不熟悉,对知识结构的关注度也不高,但基于众包知识图谱的系统仍然能够得到师生的高度认可
2020-10-18 cs.AI cs.CL cs.DB
Knowledge Graphs: Opportunities and Challenges
Federation University Australia(澳大利亚联邦大学);RMIT University(皇家墨尔本理工大学);The Open University(英国开放大学)
随着人工智能(AI)和大数据的爆炸式增长,适当地组织和表示大量知识变得至关重要。作为图形数据,知识图谱积累并传达现实世界的知识。知识图谱能够有效地表示复杂信息,因此近年来迅速受到学术界和工业界的关注。因此,为了更深入地理解知识图谱,本文对这一领域进行了系统的概述。具体而言,我们关注知识图谱的机遇和挑战。我们首先从两个方面回顾了知识图谱的机会:(1)基于知识图谱构建的人工智能系统;(2)知识图谱的潜在应用领域。然后,我们深入讨论了该领域的严峻的技术挑战,如知识图嵌入,知识获取,知识图谱完成,知识融合,知识推理。我们期望这一调查将为知识图谱的未来研究和发展提供新的思路。
2023-03-24 cs.AI
A survey of embedding models of entities and relationships for knowledge graph completion
VinAI Research(VinAI研究院)
关于实体及其关系的真实世界事实的知识图谱(KG)是用于各种自然语言处理任务的有用资源。然而,因为知识图谱通常是不完整的,所以执行知识图谱完成或链接预测是有用的,即,预测不在知识图谱中的关系是否可能为真。本文综述了知识图谱的实体和关系嵌入模型,总结了在标准基准数据集上的最新实验结果,并指出了未来的研究方向。
2020-10-27 cs.AI cs.CL cs.IR
Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Tencent(腾讯)
我们提出了一个距离监督的关系抽取方法长尾,不平衡的数据,这是在现实世界中普遍存在的。在这里,挑战是学习精确的“Few-Shot”模型,用于存在于类分布的尾部的类,对于这些类,几乎没有可用的数据。受长尾类和头部类之间丰富的语义相关性的启发,我们利用分布头部数据丰富类的知识来提高尾部数据贫乏类的性能。首先,我们提出利用知识图谱嵌入的类标签之间的隐式关系知识,并使用图卷积网络学习显式关系知识。其次,通过知识感知的注意力机制将关系知识集成到关系抽取模型中。我们展示了我们的结果,一个大规模的基准数据集,这表明我们的方法显着优于其他基线,特别是长尾关系。
2019-03-04 cs.AI cs.CL cs.DB
Structural Quality Metrics to Evaluate Knowledge Graphs
本文提出了六种结构质量度量标准,可以衡量知识图谱的质量,并分析了五种跨领域的知识图谱(Wikidata,DBpedia,YAGO,Google知识图谱,Freebase)以及Naver的集成知识图谱“Raftel”。“好的知识图谱”应该在其本体中定义详细的类和属性,以便可以丰富地表达现实世界中的知识。此外,实例和RDF三元组应该积极使用类和属性。因此,我们试图通过关注本体的结构(即知识图谱的模式)及其使用程度来用数字检查知识图谱的内部质量。分析的结果是,有可能发现仅通过类和属性的数量等与规模有关的指标无法了解的知识图谱的特征。
2022-12-09 cs.AI
Group Representation Theory for Knowledge Graph Embedding
知识图谱嵌入最近已经成为一种流行的方式来建模关系和推断缺失的链接。在本文中,我们提出了一个组理论的角度来看,知识图谱嵌入,连接以前的方法与不同的群体行动。此外,通过利用舒尔引理从群表示理论,我们表明,国家的最先进的嵌入方法RotatE可以从任何有限阿贝尔群模型的关系。
2019-11-27 cs.AI cs.LG math.RT
KGrEaT: A Framework to Evaluate Knowledge Graphs via Downstream Tasks
University of Mannheim(曼海姆大学)
针对现有知识图谱评估指标无法反映实际下游效用、忽略可访问性的问题,提出模块化框架KGrEaT,通过固定下游任务设置对比不同知识图谱本身的质量,支持自动映射与指标计算且易扩展。
2023-08-21 cs.AI cs.DB cs.LG
Learning to Rank Query Graphs for Complex Question Answering over Knowledge Graphs
University of Bonn(波恩大学)
在本文中,我们进行了一个实证调查的神经查询图排序方法的任务复杂的问答在知识图谱。我们实验了六种不同的排名模型,并提出了一种新的基于自我注意力的插槽匹配模型,该模型利用了查询图的固有结构,我们的逻辑形式的选择。我们提出的模型一般优于其他模型的两个QA数据集上的DBpedia知识图谱,在不同的设置进行评估。此外,我们表明,从较大的QA数据集到较小的数据集的迁移学习产生了实质性的改进,有效地弥补了训练数据的普遍缺乏。
2018-11-02 cs.AI cs.LG stat.ML
Mitigating Relational Bias on Knowledge Graphs
Rice University(莱斯大学);Texas A&M University(得克萨斯农工大学)
知识图谱数据在实际应用中非常普遍,知识图谱神经网络(KGNNs)是知识图谱表示学习的基本技术。虽然KGNN有效地模拟了来自知识图谱的结构信息,但这些框架放大了潜在的数据偏见,导致在最终的应用程序中对某些群体或个人的歧视。此外,由于现有的去偏置方法主要集中在实体方面的偏差,消除普遍存在于知识图谱中的多跳关系偏差仍然是一个悬而未决的问题。然而,由于产生偏差的路径的稀疏性和知识图谱的非线性邻近结构,消除关系偏差是非常具有挑战性的。为了应对这些挑战,我们提出了Fair-KGNN,一个KGNN框架,同时消除多跳偏差,并保留知识图谱中实体到关系的邻近信息。所提出的框架是可推广的,以减轻所有类型的KGNN的关系偏差。我们开发了两个实例的公平KGNN结合两个国家的最先进的KGNN模型,RGCN和CompGCN,以减轻性别职业和国籍工资偏见。在三个基准知识图谱数据集上进行的实验表明,Fair-KGNN可以有效地减轻表示学习过程中的不公平情况,同时保持KGNN模型的预测性能。
2022-12-03 cs.AI cs.CY cs.LG
Analyzing the Influence of Knowledge Graph Information on Relation Extraction
Universität Hamburg, Department of Informatics, Semantic Systems, Germany(汉堡大学信息学院语义系统研究所,德国);Leuphana Universität Lüneburg, Institute for Information Systems, Artificial Intelligence(吕贝克大学信息学院人工智能研究所)
本研究通过结合知识图谱实体位置信息与图感知神经贝尔曼-福特网络,在多个数据集上验证了该集成方法能显著提升关系抽取性能,尤其在训练样本不平衡时效果更佳,并在监督和零样本场景中均表现稳定。
2025-06-19 cs.AI cs.CL cs.IR
Billion-scale Pre-trained E-commerce Product Knowledge Graph Model
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);University of Macao(澳门大学)
近年来,知识图谱被广泛应用于以统一的方式组织数据,并增强了许多需要知识的任务,例如,极大地方便了人们生活的在线购物。作为网络购物平台的骨干,我们构建了亿级电子商业产品知识图谱,用于商品推荐等各类商品知识服务。然而,这样的知识服务通常包括繁琐的数据选择和模型设计的知识注入,这可能会带来不适当的结果。因此,为了避免这个问题,我们提出了一个针对亿级电子商业产品知识图谱的预训练知识图谱模型(PKGM),在不访问知识图谱中三元数据的情况下,为基于嵌入的模型提供统一的项目知识服务。值得注意的是,PKGM还可以在服务期间完成知识图谱,从而克服知识图谱中常见的不完整性问题。我们测试PKGM在三个知识相关的任务,包括项目分类,相同的项目识别,并建议。实验结果表明,PKGM成功地提高了每个任务的性能。
2021-05-02 cs.AI